![]() 自動音声認識用の動的なユーザーインターフェース
专利摘要:
種々の入力モードに対応できる位置決定装置のための動的なユーザーインターフェースを生成する技術について説明する。一例において、位置決定装置は、第1の入力モード(タッチスクリーンモードなど)で起動され、当該装置のグラフィカルユーザーインターフェース(graphical user interface:GUI)は、前記第1の入力モードでの入力に対応するよう構成される。前記位置決定装置は、次に、第2の入力モード(音声入力モードなど)に切り替える指示を受け取り、GUIは、この第2の入力モードで入力を受け取るよう構成される。前記位置決定装置は、複数の入力モードに基づいてGUI構成間で動的に移行することが可能である。 公开号:JP2011511935A 申请号:JP2010543159 申请日:2009-01-07 公开日:2011-04-14 发明作者:カイアー、ジェイコブ、ダブリュー.;ボルトン、ケネス、エー.;ラッツ、パスカル、エム. 申请人:ガーミン スウィッツァランド ゲーエムベーハー; IPC主号:G01C21-00
专利说明:
[0001] 位置決定装置の利用者は、1若しくはそれ以上の位置決定方法により、自らの地理的な位置を決定することができる。適切な位置決定方法としては、グローバルポジショニングシステム(global positioning system:GPS)の利用、携帯電話システムからのデータの利用などがある。利用者が位置決定装置とインタラクトできるようにするため、当該装置は、種々の入力方法により利用者の入力に対応するよう構成されている。入力方法としては、当該装置のボタンを押す、装置ディスプレイにタッチスクリーンモードで表示されたグラフィックを選択する、遠隔制御装置(リモコン)から入力を行うなどがある。] [0002] 位置決定装置は、利用者からの発話(音声)入力に対応するよう構成することもできる。音声入力を位置決定装置に提供する方法の一例には、自動音声認識(automatic speech recognition:ASR)を利用するものがある。ASRは、通常、音声をテキストや数値表現などに変換するため使用され、変換後の値は、位置決定装置で望ましい機能を実行する上で使用できる。ASRは、利用者が自動車を運転中であるなど、利用者が前記装置と物理的にインタラクトすることが安全でなく、または不可能な場合、特に有用である。] [0003] ASRは、位置決定装置とインタラクトする際に簡単で便利な方法を提供する一方、そのような装置に使用されている従来のグラフィカルユーザーインターフェース(graphical user interface:GUI)は、利用者の当該装置とのインタラクションによる入力に対応するよう構成されており、ASRを使って選択を行うことが困難または不可能な、コマンド、選択可能なアイコン、および/または入力可能なフィールドを表示する。またASR固有の特徴により、位置決定装置の機能には、ASRで実施するには望ましくないものもある。例えば、ドイツにおいて、発話により道を名称で検索しようとすると、過度に多くの検索結果が提供され、かえって利用者には利用しづらい。] 課題を解決するための手段 [0004] 本明細書では、種々の入力モードに対応できる位置決定装置のための動的なユーザーインターフェースを生成する技術について説明する。その一例において、位置決定装置は、第1の入力モード(タッチスクリーンモードなど)で起動され、当該装置のグラフィカルユーザーインターフェース(graphical user interface:GUI)は、前記第1の入力モードでの入力に対応するよう構成される。前記位置決定装置は、次に、第2の入力モード(音声入力モードなど)に切り替える旨の指示を受け取り、GUIは、この第2の入力モードで入力を受け取るよう構成される。] [0005] この概要は、詳細な説明および図面において完全に説明されている事項を単に紹介するためのみに提供されるものである。そのため、この概要は、本発明の不可欠な特徴を説明するものと見なすべきでも、特許請求の範囲を判断するために使用すべきでもない。] 図面の簡単な説明 [0006] 以降で行う詳細な説明は、以下の添付の図面を参照して説明する。これらの図面では、参照番号の最も左の数字(桁)により、その参照番号が初出する図の番号を示している。以降の説明において異なる状況および図で同じ参照番号を使用している場合は、それらが同様な項目または同一の項目であることを示している可能性がある。 図1は、種々の入力モード用に動的なグラフィカルユーザーインターフェースを生成するよう動作可能な例示的な位置決めシステム環境を示したものである。 図2は、入力モードの変更に基づきグラフィカルユーザーインターフェースが再構成される例示的な実施態様の手続き(プロシージャ)を図示したフローチャートである。 図3は、入力モードの変更に基づきグラフィカルユーザーインターフェースが再構成される特定の実施態様の手続きを図示したフローチャートである。 図4は、タッチアイコンおよび/または音声アイコンを介して入力を受け取るよう生成可能な2つのグラフィカルユーザーインターフェースを例示したものである。 図5は、タッチバーおよび/または音声バーを介して入力を受け取るよう生成可能な2つのグラフィカルユーザーインターフェースを例示したものである。] 図1 図2 図3 図4 図5 実施例 [0007] 概要 従来のグラフィカルユーザーインターフェース(graphical user interface:GUI)は、特定の利用者(ユーザー)入力モードに合わせて構成されている。例えば、GUIには、マウスやマウスポインタによる選択など、特定の入力モードで選択されるよう構成されたグラフィックアイコンを含めることができる。ただし、それと異なる音声モードなどの入力モードの場合、利用者がグラフィック記号を話し言葉(語(word)および/または句(phrase))で言い表して音声認識技術で認識されるようにすることが難しいため、上記のようなグラフィックアイコンの選択は困難または不可能である。] [0008] この問題を鑑み、種々の利用者入力モードに対応できる動的なGUIを生成する技術について説明する。例示的な一実施形態において、位置決定装置は、第1の入力モード(タッチスクリーンモードなど)で起動され、当該装置のGUIは、この第1の入力モードでの入力に対応するよう構成されている。前記位置決定装置は、次に、第2の入力モード(音声入力モードなど)に切り替える旨の指示を受け取り、GUIは、この第2の入力モードで入力を受け取るよう構成されている。一部の実施態様において、前記第2の入力モードで入力を受け取るようGUIを構成することは、入力が排他的に前記第2の入力モードだけで受け取られることを示唆すると解釈すべきではなく、前記位置決定装置で第2の入力モードが利用できる旨を利用者に示す特定のプロンプト(指示)を含むよう、GUIが再構成されるものと解釈すべきである。そのようなプロンプトとしては、グラフィックプロンプト、音声プロンプトなどがある。このように、一部の実施態様では、位置決定装置において、前記第1の入力モードおよび前記第2の入力モードの双方がアクティブである場合もあり、前記第2の入力モードで入力を受け取るようGUIを構成する工程には、当該装置のアイコン、テキスト、および/または特定の機能が前記第2の入力モードで選択可能なことを利用者に示す工程が含まれる。] [0009] 以下では、まず、多種多様な利用者入力モードで利用者が入力を行えるようにする動的なGUIを生成するよう動作可能な例示的環境について説明する。次に、その例示的環境で使用できる例示的工程を説明する(この工程例は、その要旨を逸脱しない範囲で、他の環境でも使用できる)。最後に、種々の利用者入力モードでの利用者入力を可能にする動的なGUIの例について説明する。その動的なGUIの技術については位置決定環境に関連付けて説明しているが、それらの技術は、携帯音楽プレーヤー、無線電話など種々の環境で使用され、携帯型の音楽再生機能、交通認識機能(経路の生成に使用される事故や交通流に関する情報など)、インターネット検索機能などを提供できることが容易に理解されるべきである。] [0010] 環境例 図1は、本明細書で説明する工程および技術を実施するよう動作可能な例示的位置決めシステム環境100を示したものである。この環境100には、GPS衛星102など、任意数の位置データプラットフォームおよび/または位置データ送信機を含めることができる。これらは、単なる例示目的で示したもので、他の多種多様な位置決めシステムも使用できることが明確に理解されるべきである。図1のこの環境100では、それぞれ1若しくはそれ以上のアンテナを含むものとして前記GPS衛星102を例示している。これらのアンテナは、各々、位置決め情報およびナビゲーション信号を含む信号を送信する。] 図1 [0011] 当該環境100には、携帯電話プロバイダ104およびインターネットプロバイダ106も含む。前記携帯電話プロバイダ104は、携帯電話および/またはデータ読み出し機能を当該環境100の種々の態様に提供することができ、前記インターネットプロバイダ106は、ネットワーク接続性および/またはデータ読み出し機能を当該環境100の種々の態様に提供することができる。] [0012] 当該環境100には、任意タイプの地上、海上、および/または航空機上の携帯受信機などの位置決定装置108も含まれる。この位置決定装置108には、種々の位置決定機能を実施実装でき、これらの機能は以下における説明の便宜上、1若しくはそれ以上の位置を「知る」ことによりサポート可能な多種多様なナビゲーション技術および他の技術に関するものであってよい。例えば、位置決定機能を使うと、位置情報、タイミング情報、スピード情報、および他の種々のナビゲーション関連データを提供することができる。そのため、前記位置決定装置108は、多種多様な機能を実行するよう種々の方法で構成できる。例えば、この位置決定装置108は、図に示した自動車のナビゲーション、(航空機やヘリコプターなどの)航空ナビゲーション、海洋ナビゲーション、(フィットネス関連機器の一部などとして)個人的用途などのために構成することができる。この位置決定装置108には、上述した技術のうち1若しくはそれ以上を使って位置を決定する種々の装置を含めることができる。] [0013] 図1の位置決定装置108には、ナビゲーション受信機110が含まれており、このナビゲーション受信機110は、複数の異なるナビゲーション信号源(GPS衛星102、携帯電話プロバイダ104、1若しくはそれ以上のネットワーク114、およびこれらの組み合わせなど)から、ナビゲーション信号(GPS信号、ガリレオ信号、セルラーネットワーク信号、WiFi信号、およびこれらの組み合わせなど)を受信するよう構成されている。ここでは明示的に例示していないが、前記位置決定装置108には、GPS信号など種々の信号を受信する1若しくはそれ以上のアンテナを含めることができる。前記ナビゲーション受信機110は、受信されたナビゲーション信号を直接使って、位置や速度などの位置情報を前記装置108用に計算することができる。一部の実施形態において、このナビゲーション受信機110は、受信されたナビゲーション信号を使って、1若しくはそれ以上のプロセッサ120と協動し、当該装置108用に位置情報を計算する。このように、一部の実施形態では、当該ナビゲーション受信機110を前記1若しくはそれ以上のプロセッサ120と一体化することができる。さらに、一部の実施形態において、ナビゲーション受信機110は、位置情報を独立して決定することに加え若しくはその代わりに、前記ネットワーク114を通じて前記装置108用に位置情報を受信することができる。] 図1 [0014] この位置決定装置108には、ネットワークインターフェース112も含まれ、これにより当該装置は、ネットワーク114など1若しくはそれ以上のネットワークと通信することができる。前記ネットワーク114は、ローカルエリアネットワーク、広域ネットワーク、インターネット、人工衛星ネットワーク、携帯電話ネットワークなど、適切な任意のネットワークを含んでよい。前記位置決定装置108には、1若しくはそれ以上の入出力(I/O)装置116(タッチスクリーン、ボタン、無線入力装置、データ入力装置、画面など)も含まれる。この入出力装置116には、マイクロホン(マイク)やスピーカーなど、1若しくはそれ以上の音声I/O装置118が含まれる。前記位置決定装置108の種々の装置およびモジュールは、プロセッサ120およびメモリ122と通信可能に連結される。] [0015] 前記プロセッサ120は、形成される材料または内部で使用される処理機構により限定されるものではなく、半導体および/またはトランジスタ(例えば電子集積回路(integrated circuit:IC))などで実装可能である。また、ここでは単一のメモリ122を示しているが、ランダムアクセスメモリ(RAM)、ハードディスクメモリ、取り外し可能な記憶媒体(リムーバブルメディアメモリ)(例えば、メモリ122は、取り外し可能なメモリカートリッジを受容するスロットにより実装できる)、および/または他種のコンピュータ可読媒体など、多種多様なコンピュータ可読記憶装置およびその組み合わせを使用することができる。前記位置決定装置108の構成要素は別個に図示しているが、これらの構成要素は、その要旨を逸脱しない範囲で、さらに分割することも、および/または組み合わせるすることもできることが明確に理解されるべきである。] [0016] 前記位置決定装置108は、前記GPS衛星102など、1若しくはそれ以上の位置データプラットフォームおよび/または位置データ送信機から送信される信号および/またはデータを受信するよう構成されている。これらの信号は、前記プロセッサ120に提供され、前記メモリ122に格納され、且つ前記プロセッサ120で実行可能な位置決めモジュール124において処理される。前記位置決めモジュール124は、地理的な位置を決定する機能の代表的なものであり、この決定は、例えば上記の位置データを送信するプラットフォームまたは送信機から取得される信号および/またはデータを処理して、位置、スピード、時間等を決定するなどの位置決定機能を提供して行う。前記信号および/またはデータとしては、例えば測距信号、エフェメリス(各衛星の詳細な軌道情報)、アルマナック(全衛星の軌道概略)などの位置関連データがある。] [0017] 前記位置決めモジュール124を実行され、前記メモリ122に格納されたマップデータ126を使ってナビゲーション指示(入力された目的地へのターンバイターン指示など)が生成されて、マップ上で現在の位置の表示などが行われる。また、この位置決めモジュール124が実行されて、現在のスピードの決定、到着時刻の計算など、他の位置決定機能が提供される。また、他の多種多様な例も考えられる。] [0018] また、メモリ122には入力モードマネージャ128が格納されており、これにより前記位置決定装置108は、種々の入力モードで動作することができる。例えば、前記入力モードマネージャ128により、タッチモードモジュール130の実行が開始され、これにより利用者は、前記装置と物理的にインタラクトして当該装置に入力が可能となる。前記装置との物理的インタラクションの例としては、当該装置の1若しくはそれ以上のボタンを押す、タッチスクリーン上の1若しくはそれ以上のグラフィックおよび/またはアイコンを選択する、位置決定装置の遠隔制御装置(リモコン)の1若しくはそれ以上のボタンを押すなどがある。] [0019] また、前記入力モードマネージャ128は音声認識モジュール132の実行を開始するが、この音声認識モジュール132は、自動音声認識(automated speech recognition:ASR)機能の代表的なもので、前記位置決定装置108によって使用される。この音声認識モジュール132には、例えば前記音声I/O装置118(マイクロホンや無線ヘッドセットなど)を介して利用者から受け取られた音声入力を、テキストや数値表現などに変換する機能を含めることができ、変換後の信号(値)は前記位置決定装置で望ましい機能を実行する目的で使用できる。音声入力の変換には、種々の技術が使用可能である。前記音声認識モジュール132には、当該音声認識モジュールからアクセス可能なASRデータモジュール134が含まれる。このASRデータモジュール134は、利用者音声プロファイル、利用者のスピーチパターン(言葉遣い)、認識された語および/または音(sound)、音声コンテキストデータなど、当該装置の音声入力機能を実施するために使用されるASR固有のデータを格納する。] [0020] 前記タッチモードモジュール130は、利用者と前記位置決定装置108の物理的インタラクションを解釈し、その物理的インタラクションで示された当該装置の機能を作動させるよう構成されている。その一例では、利用者が前記位置決定装置108のタッチスクリーンで「道の検索」(street search)アイコンを選択し、それに応答して、タッチモードモジュール130が、当該装置に表示されるGUI用に「道の検索」ウィンドウを生成する旨の指示をユーザーインターフェースモジュール136に送信する。当該ユーザーインターフェースモジュール136は、利用者と前記位置決定装置108との物理的相互作用に対応するよう設計されたGUIや、利用者から当該装置への音声入力に対応するよう設計されたGUIなど、多種多様なGUIを生成するよう構成されている。また、前記位置決定装置108のGUIは、当該装置との物理的インタラクションと、当該装置への音声入力との組み合わせなど、単一のGUIで利用者入力モードのいかなる組み合わせにも対応するよう構成することができる。] [0021] また、前記位置決定装置108では、前記携帯電話プロバイダ104から提供されるセルラーネットワークと接続するなどの携帯電話機能を実装することもできる。この位置決定装置108には、前記インターネットプロバイダ106を通じてネットワーク接続性(インターネットへのアクセスなど)も提供される。前記インターネットプロバイダ106を使って、当該位置決定装置108は、マップ、運転用の道順、システム更新情報などを読み出すことができる。] [0022] 一般に、本明細書で説明するいずれの機能も、ソフトウェア、ファームウェア、ハードウェア(固定論理回路など)、手動処理、またはこれら実施態様の組み合わせを使って実施実装できる。本明細書における用語「モジュール」(module)および「機能(性)」(functionality)は、一般に、ソフトウェア、ファームウェア、ハードウェア、またはこれらの組み合わせを表している。例えば、ソフトウェア実施態様の場合、モジュールとは、図1の前記位置決定装置108のプロセッサ120などのプロセッサ実行時に、指定されたタスクを行う実行可能な命令を表している。そのプログラムコードは、図1の前記位置決定装置108の前記メモリ122など、1若しくはそれ以上のコンピュータ可読媒体に格納することができる。後述するASR技術の動的ユーザーインターフェース生成の特徴は、プラットフォームに依存しない。すなわち、この技術は、種々のプロセッサを有した種々の市販コンピュータプラットフォームで実施することができる。] 図1 [0023] 手続き(プロシージャ)の実施例 以下、前述のシステムおよび装置を利用して実施できる動的GUIの構成および生成技術について説明する。これら各手続きの諸態様は、ハードウェア、ファームウェア、ソフトウェア、またはこれらの組み合わせで実装できる。これらの手続きは、1若しくはそれ以上の装置で実行される動作を指定するブロックのセットとして示しており、必ずしも各ブロックの動作実行について示した順序に限定されるわけではない。以下の説明の諸部分では、図1の前記環境100および/または他の実施形態例を参照している。] 図1 [0024] 図2は、位置決定装置用に1若しくはそれ以上の動的なGUIを提供する工程の一例である工程200を例示したものである。まず、前記位置決定装置が第1の入力モードで起動される(ブロック202)。一部の実施態様において、前記位置決定装置を起動する工程は、当該装置のボタンを利用者が選択することによる当該装置への電源投入、利用者による音声(発話)入力、当該装置をホストする自動車への電源投入(自動車シナリオの場合)など、いくつかの異なる出来事に応答して実施される。] 図2 [0025] GUIは、前記位置決定装置で生成され、前記第1の入力モード用に構成される(ブロック204)。一例においては、前記第1の入力モードに利用者と前記位置決定装置の物理的インタラクションが伴う。例えば、タッチスクリーンモードにおいて、前記GUIは、前記位置決定装置のタッチスクリーンに表示されたグラフィックアイコンおよび/またはフィールドの選択を介して、当該位置決定装置への利用者入力を受け取るよう構成される。前記GUIに表示されたグラフィックアイコンおよび/またはフィールドのうち1若しくはそれ以上は、位置関連情報に関連付けることができ、各グラフィックアイコンおよび/またはフィールドを選択すると、各々に関連付けられた位置の詳細を読み出すようにできる。位置決定装置との物理的インタラクションの他の例は、上述したとおりである。これらの例は限定を目的としたものではなく、前記位置決定装置に利用者入力を提供するいかなる適切な方法も利用できることが意図されている。] [0026] 第2の入力モードに切り替える旨の指示が前記位置決定装置で受け取られると、当該装置は、当該第2の入力モードへの切り替えを行う(ブロック206)。この指示は、いくつかの異なる出来事に応答して受け取られる。一例では、前記装置および/または装置の遠隔制御装置(リモコン)の1若しくはそれ以上のボタンを押すなど、利用者と前記位置決定装置の物理的インタラクションに応答して前記指示が受け取られる。また、前記指示は、音声入力装置(マイクロホンなど)を介して利用者から前記装置に提供される音声(発話)入力に応答して受け取られることもある。一例において、前記第2の入力モードは、ASRモードなどの音声入力モードである。] [0027] 前記位置決定装置が前記第2の入力モードに切り替わると、当該装置のGUIは、この第2の入力モード用に構成される(ブロック208)。前記GUIを前記第2の入力モード用に構成する工程には、前記位置決定装置用の新たなGUIを動的に生成する工程および/またはそれまでのGUIを再構成し、前記第2の入力モードによる入力に対応する工程を含めることができる。ブロック206の例を続けると、前記第2の入力モードがASRモードであるシナリオでは、前記GUIが利用者からの音声入力により入力を受け取るよう構成される。利用者の音声入力用にGUIを構成する工程には、特定の語または句を示すグラフィックプロンプト(音声アイコンなど)の利用者への表示を含めることができ、このグラフィックプロンプトは、前記位置決定装置への音声入力として提供された場合、当該装置で特定の機能を提供する。例えば、住所検索アイコンを提示して、利用者が「address」(住所)という語を発話すると、前記位置決定装置がGUIに住所検索ウィンドウを提示することを利用者に示すことができる。以下、GUIのグラフィックおよび/またはアイコンの他の例を示す。上記のように、またいくつかの実施態様例によれば、前記第2の入力モード用に構成されたGUIは、前記第1の入力モードで入力を受け取ることもできる。前記第2の入力モード用にGUIを構成する工程には、特定のグラフィック標示(アイコンやテキストなど)を表示する工程を含めることができ、これにより前記第2の入力モードで前記グラフィック標示および/または他の位置決定装置機能を選択できることを示せる。] [0028] 図3は、利用者が入力モードを変更するとGUIがその入力モード変更に基づき再構成を行う1若しくはそれ以上の実施形態例に従った工程300を示したものである。] 図3 [0029] この例において、位置決定装置は、タッチモードで入力を受け取るよう起動される(ブロック302)。前記タッチモードには、前記位置決定装置のタッチスクリーンGUIに表示されたグラフィックアイコンを利用者が選択する態様を含め、前記装置との物理的インタラクションを介した任意の適切な入力態様を含めることができる。前記位置決定装置がタッチモードで起動されると、当該装置のGUIは、それに応答して前記タッチモードで利用者入力に対応するよう構成される(ブロック304)。ただし本明細書で説明したように、本発明の実施形態では、タッチ以外または音声以外の入力モードを使用し、それが前記音声モードに移行する場合もある。例えば、一部の実施形態ではタッチスクリーンを使わず、ジョイスティック、スタイラス、物理的なボタン、制御機構、これらの組み合わせなどの入力装置を使って前記グラフィックアイコンを選択することもできる。] [0030] 次に、前記位置決定装置は、ASR入力モードに切り替える旨の指示を受け取って、ASR入力モードへの切り替えを行う(ブロック306)。上記のように、入力モードを切り替える旨の指示は、利用者と前記装置または装置の遠隔制御装置(リモコン)の物理的インタラクションに応答して、あるいは利用者の音声入力に応答して当該装置で受け取られることも可能である。これら入力モード切り替えの例は単なる例示目的で示すものであり、特許請求の範囲に記載された実施形態の要旨を逸脱しない範囲で、入力モードを切り替えるいかなる適切な態様も利用できることが意図されている。実施態様の一例では、位置決定装置の利用者は自動車の操作を開始したため、当該自動車をASR入力モードで操作することを望んでいる。次いで前記利用者が前記ASRモードに切り替える旨の指示を与え、音声入力で前記位置決定装置とインタラクトし始める。] [0031] 前記装置がASR入力モードに切り替わることに応答し、当該装置のGUIは、ASRで入力を受け取るよう構成される(ブロック308)。ASRで入力を受け取るようGUIを構成する工程には、タッチモードGUIからの完全なGUI再構成が伴う場合も、単なる部分的なGUI再構成が伴う場合もある。] [0032] また、前記位置決定装置は、タッチモードに切り替える旨の指示を受け取ると、タッチモードへの切り替えを行う(ブロック310)。その後、当該工程はブロック304に戻って前記GUIをタッチモードに構成する。] [0033] ユーザーインターフェースの実施例 この項目では、本明細書で説明する工程および技術を使って生成できる2セットのGUIを提示する。これら各GUIの諸態様は、ハードウェア、ファームウェア、ソフトウェア、またはこれらの組み合わせで生成できる。これらのGUIについては、前述の工程例を参照して説明し、位置決定装置で入力モードを切り替える文脈で示す。] [0034] 図4は、位置決定装置で表示可能な2つのGUI例を400として例示したものである。タッチモードGUI 402は、装置が起動されると(当該装置の電源投入時などに)、当該装置で表示することができる。このタッチモードGUI 402には選択可能なアイコン406が含まれており、利用者はこれらのアイコンに触ると、各アイコンに関連付けられた特定の位置決定装置機能をアクティブにすることができる。例えば、前記選択可能なアイコン406としては「address」(住所)アイコンなどがあり、これを選択すると住所検索GUIが利用者に表示されて、当該利用者は、物理的な住所および/または他の地理的な位置を検索することができる。また、前記選択可能なアイコン406としては、「spell name」(名前をスペル)アイコン408などもあり、これが選択されると、(文字(letter)および/または数字などの)文字(character)を当該利用者が選択して位置検索または他の位置決定装置機能の一部として名称をスペルできるGUIが表示される。] 図4 [0035] 前記タッチモードGUIには、ナビゲーションバー410も含まれ、これにより前記位置決定装置の種々のインターフェースおよび/または機能でナビゲーションを行う種々のナビゲーションアイコンが表示される。図示したように、このナビゲーションバー410には上矢印および下矢印が含まれ、これらをそれぞれ選択すると、利用者は当該GUIを縦方向にスクロールすることができる。このナビゲーションバー410には「back」(戻る)アイコンも含まれ、これを選択すると、利用者は直前のGUI画面および/または位置に戻ることができる。] [0036] また図4は、音声モードGUIの一例412も例示している。この音声モードGUI 412は、上記図3で例示した工程300のブロック308など、入力モードの変更に応答して位置決定装置への表示が可能である。この例では、前記位置決定装置GUIが音声入力用に構成されると、音声対応アイコンが前記GUIに表示されて、当該装置が音声入力を受け取れるようになったことが示される。また、前記タッチモードGUI 402の前記選択可能なアイコン406のうち1若しくはそれ以上が、1若しくはそれ以上の音声アイコン416を提示するよう再構成される。例えば、前記「spell name」(名前をスペル)アイコン408は、「say name」(名前を言う)音声アイコン418として再構成される。この「say name」(名前を言う)音声アイコン418が前記音声モードGUI 412に表示されているとき、利用者が「say name」という句を発話すると、「say name」(名前を言う)ウィンドウが利用者に表示され、利用者は、1若しくはそれ以上の検索用語および/または位置(所在地)を発話してこれを当該装置に提供することができる。前記音声アイコン416の一部として表示される他のアイコンは、それらアイコンに関連付けられた語および/または句を発話すると、各アイコンに関連付けられた特定の機能を選択し、および/またはアクティブにできることを利用者に示す。] 図3 図4 [0037] 前記音声モードGUI412には、ナビゲーションバー410が一部再構成された形態である音声ナビゲーションバー420も含まれる。この例では、ナビゲーションバー410の前記上矢印および下矢印が再構成され、句「page up」(前ページ)および「page down」(次ページ)が表示されている。そのため、利用者は、ナビゲーションバー410の上矢印および/または下矢印を物理的に選択する代わりに、「page up」(前ページ)および/または「page down」(次ページ)と発話して当該音声モードGUI 412をナビゲートすることができる。] [0038] 図5は、位置決定装置で表示可能なもう1つのGUI例を500として例示したものである。この例では、前記位置決定装置が、利用者と当該装置および/または当該装置の遠隔制御装置(リモコン)の物理的インタラクションで入力を受け取るモードの場合、当該装置にタッチモードGUI 502が表示される。このタッチモードGUI 502には、いくつかのタッチバー504など制御機構が含まれ、これらタッチバーには、それぞれ特定の位置(所在地)に関する情報が含まれる。この例では、各前記タッチバー504に、飲食店に関する情報が含まれる。これらは単なる例示目的で示したもので、タッチバーは、ガソリンスタンド、娯楽施設、病院など、種々の地理的な位置および位置決定装置の機能に関連付けることができる。タッチ入力モードにおいて、利用者は、関心のある特定のタッチバーに対応したタッチスクリーン領域に触ることにより、関心のあるタッチバーを選択することができる。関心のあるタッチバーを選択すると、選択されたタッチバーに関連付けられた位置(所在地)への運転用の道順を表示するなど、種々の位置決定装置機能をアクティブにできる。] 図5 [0039] 図5には、位置決定装置が音声入力を受け取るよう構成された場合、当該装置に表示可能な音声モードGUIの一例508も含まれる。前記装置が音声入力モードになると、前記音声モードGUI 508は音声モードGUI 412に関して説明したように、前記音声対応アイコン414を表示する。前記音声対応アイコン414は、特定のアイコン、テキスト、および/または位置決定装置の機能が音声入力を介して選択可能であることを利用者に示す。] 図5 [0040] 前記タッチモードGUI502には、複数のアイコンを含むナビゲーションバー506も含まれており、これらのアイコンを選択すると、利用者は、当該GUIをナビゲートすることができる。前記アイコンとしては、当該GUIのコンテンツを縦方向にスクロールできるようにする上矢印および下矢印などがある。このナビゲーションバー506には「back」(戻る)アイコンも含まれ、これを選択すると、利用者は直前のGUIおよび/または機能に戻ることができる。] [0041] 前記音声モードGUI508には、音声入力を介して選択されるよう構成された音声バー510も含まれる。一部の実施形態において、音声バー510は、音声入力および/またはタッチ入力により選択することができる。前記音声バー510には、それぞれ飲食店、ガソリンスタンド、小売店など、利用者にとり関心のある位置関連情報が含まれる。この例の場合、各前記音声バー510には、吹き出しアイコンも含まれる。例えば、前記音声バー510のうち一番上の音声バーには、中に1という番号が表示された吹き出しアイコンが含まれ、それ以下の音声バーでも順次同様になっている。この吹き出しアイコン内の番号は、音声入力で前記位置決定装置に提供できる番号を表しており、各番号を発話すると、その番号に関連付けられた音声バーを選択することができる。そのため、この例では、利用者がこの番号「one」(1)を前記装置に向かって発話すると、「Dairy Castle」の位置(所在地)に関連付けられた音声バーが選択される。また、一部の実施形態では、各前記音声バーに含まれたテキストの一部または全部を発話することにより、当該音声バー510を選択することができる。上記のGUIと同様、音声バーを選択すると、その音声バーに関連付けられた位置へ運転するための道順を読み出すなど、前記位置決定装置の別の機能がアクティブになる。] [0042] この音声モードGUI508にはナビゲーションバー512も含まれ、このナビゲーションバー512は、一部の実施形態において、音声モードGUIで音声ベースのナビゲーションを可能にするようナビゲーションバー506を再構成したものである。例えば、タッチモードGUI 502の上矢印および下矢印は、「page up」(前ページ)および「page down」(次ページ)で置換される。その場合、「page up」(前ページ)および「page down」(次ページ)と発話すると、利用者は前記音声モードGUI 508を縦方向にスクロールすることができる。また「back」(戻る)と発話すると上記の「back」(戻る)機能をアクティブにでき、「spell」(スペルする)と発話すると、前記音声モードGUI 508で利用者の発話によるスペリング(つづり)で検索用語および/または位置(所在地)を受け取れるようにできる。] [0043] そのため、これらのGUI例で示すように、1つの入力モードからもう1つの入力モードに切り替わることにより、GUIは部分的または完全に再構成され、特定のアクティブな入力モードにより適切に適合する。以上のグラフィック、アイコン、およびナビゲーション機能は単なる例示目的で示したものであり、他のアイコン、句、テキスト、およびGUIナビゲーション技術も、特許請求の範囲に記載された実施形態の要旨を逸脱しない範囲で利用可能である。また入力モードについて指定した順序も単に例示的なものであって、位置決定装置に表示されるGUIは、図4および図5のGUI間の双方向矢印で示唆したように、種々の入力モード間で動的に構成および再構成できるものと意図されている。] 図4 図5 [0044] 本発明については、構造上の特徴および/または方法論的な作用に固有の表現で説明しているが、言うまでもなく、添付の特許請求の範囲により定義される本発明は、上述した特定の特徴または作用に必ずしも限定されるものではない。むしろ、これら特定の特徴または作用は、本明細書の特許請求の範囲に記載された発明の実施形態例として開示されている。]
权利要求:
請求項1 方法であって、第1の入力モード用にグラフィックで構成され、複数のグラフィックアイコンを有する第1のユーザーインターフェースを位置決定装置用に生成する工程と、前記位置決定装置において、前記第1の入力モードから音声入力モードへ移行する指示を受信する工程と、前記指示に応答して、第2のユーザーインターフェースを前記位置決定装置用に動的に生成する工程であって、前記第2のユーザーインターフェースは、前記グラフィックアイコンのうち少なくとも1つの一部を音声アイコンに修正することにより音声入力モード用にグラフィックで構成され、前記音声アイコンは当該音声アイコンを選択する上で利用者が発話すべき語(word)を示すものである、前記動的に生成する工程とを有する方法。 請求項2 請求項1記載の方法において、前記グラフィックアイコンのうち少なくとも1つは位置関連情報に関連付けられており、前記音声アイコンは位置関連情報に関連付けられているものである。 請求項3 請求項1記載の方法において、前記グラフィックアイコンのうち第1のグラフィックアイコンはテキスト情報を含んでおらず、前記第1のグラフィックアイコンの少なくとも一部はテキスト情報を含む前記音声アイコンに置換されるものである。 請求項4 請求項3記載の方法において、前記第1のグラフィックアイコンは矢印であり、前記テキスト情報は、「up」(上へ)または「down」(下へ)という語を含むものである。 請求項5 請求項1記載の方法において、前記グラフィックアイコンはリストに関連付けられた複数の制御機構を含み、前記第2のユーザーインターフェースは複数の音声アイコンを含み、前記音声アイコンのうち少なくとも1つは前記制御機構の各々に関連付けられ、前記制御機構のうち特定の1つを選択する上で利用者が発話すべき語を示すものである。 請求項6 請求項1記載の方法において、前記グラフィックアイコンは当該グラフィックアイコンが前記音声アイコンで置換されることにより、前記音声アイコンで修正されるものである。 請求項7 請求項1記載の方法において、前記グラフィックアイコンは、当該グラフィックアイコンに前記音声アイコンを追加することにより、前記音声アイコンで修正されるものである。 請求項8 請求項1記載の方法において、この方法は、さらに、前記音声アイコンに関連付けられた語を利用者が発話したことを検出する工程と、前記音声アイコンに関連付けられた機能を実行する工程とを含むものである。 請求項9 請求項1記載の方法において、この方法は、さらに、タッチスクリーンディスプレイ上の前記グラフィックアイコンのうち1つを利用者が選択したことを検出する工程と、当該選択されたグラフィックアイコンに関連付けられた機能を実行する工程とを含むものである。 請求項10 位置決定装置であって、ナビゲーション信号を受信するよう動作可能なナビゲーション受信機と、ディスプレイと、利用者の発話を受け取るよう動作可能な音声入力装置と、前記ナビゲーション受信機と、前記ディスプレイと、前記音声入力装置に連結されたプロセッサであって、複数のグラフィックアイコンを有し、前記ディスプレイに表示され、非音声入力モード用にグラフィックで構成された第1のユーザーインターフェースを生成し、前記非音声入力モードから音声入力モードへ移行し、前記移行に応答して、第2のユーザーインターフェースを動的に生成して前記ディスプレイに表示するよう動作可能なプロセッサとを有し、前記第2のユーザーインターフェースは、前記グラフィックアイコンのうち少なくとも1つの一部を音声アイコンで修正することにより音声入力モード用にグラフィックで構成され、前記音声アイコンは、当該音声アイコンを選択する上で利用者が発話すべき語を示すものである位置決定装置。 請求項11 請求項10記載の装置において、前記グラフィックアイコンのうち少なくとも1つは位置関連情報に関連付けられており、前記音声アイコンは位置関連情報に関連付けられているものである。 請求項12 請求項10記載の装置において、前記グラフィックアイコンのうち第1のグラフィックアイコンはテキスト情報を含んでおらず、前記第1のグラフィックアイコンの少なくとも一部は、テキスト情報を含む前記音声アイコンで置換されるものである。 請求項13 請求項12記載の装置において、前記第1のグラフィックアイコンは矢印であり、前記テキスト情報は、「up」(上へ)または「down」(下へ)という語を含むものである。 請求項14 請求項10記載の装置において、前記グラフィックアイコンはリストに関連付けられた複数の制御機構を含み、前記第2のユーザーインターフェースは複数の音声アイコンを含み、前記音声アイコンのうち少なくとも1つは前記制御機構の各々に関連付けられ、前記制御機構のうち特定の1つを選択する上で利用者が発話すべき語を示すものである。 請求項15 請求項10記載の装置において、前記グラフィックアイコンは、当該グラフィックアイコンが前記音声アイコンで置換されることにより、前記音声アイコンで修正されるものである。 請求項16 請求項10記載の装置において、前記グラフィックアイコンは、前記グラフィックアイコンに前記音声アイコンを追加することにより、前記音声アイコンで修正されるものである。 請求項17 請求項10記載の装置において、前記プロセッサは、さらに、前記音声入力装置を利用して、前記音声アイコンに関連付けられた語を利用者が発話したことを検出し、前記音声アイコンに関連付けられた機能を実行するよう動作可能である。 請求項18 請求項10記載の装置において、前記ディスプレイはタッチスクリーンディスプレイであり、前記プロセッサは、さらに、前記ディスプレイを利用して、前記グラフィックアイコンのうち1つを利用者が選択したことを検出し、当該選択されたグラフィックアイコンに関連付けられた機能を実行するよう動作可能である。 請求項19 請求項10記載の装置において、この装置は、さらに、利用者からの入力を受け取るよう動作可能な非音声入力装置を含み、前記プロセッサは、さらに、前記入力に基づいて前記グラフィックアイコンのうち1つを利用者が選択したことを検出し、当該選択されたグラフィックアイコンに関連付けられた機能を実行するよう動作可能である。
类似技术:
公开号 | 公开日 | 专利标题 EP2761860B1|2019-10-23|Automatically adapting user interfaces for hands-free interaction US9966071B2|2018-05-08|Disambiguating input based on context US20180094944A1|2018-04-05|Start-of-route map navigation with suppression of off-route feedback CN106372222B|2020-02-21|基于位置的搜索 AU2013230213B2|2016-05-26|Handling speech synthesis of content for multiple languages NL2001138C1|2008-03-18|Een navigatieapparaat en methode in verband tot een spraakherkenningsmodus. US9207096B2|2015-12-08|Map magnifier TWI506619B|2015-11-01|用於情境式語音命令的方法、裝置及非過渡電腦可讀媒體 US8447609B2|2013-05-21|Adjustment of temporal acoustical characteristics US6968311B2|2005-11-22|User interface for telematics systems US9008859B2|2015-04-14|Navigation instructions using low-bandwidth signaling US7249025B2|2007-07-24|Portable device for enhanced security and accessibility US9163951B2|2015-10-20|Optional re-routing EP2003641B1|2013-03-06|Voice input support device, method thereof, program thereof, recording medium containing the program, and navigation device US5825306A|1998-10-20|Navigation system for vehicles KR101881985B1|2018-08-24|컨텍스트에 기초한 음성 인식 문법 선택 CN102027325B|2014-08-06|检测寻找停车设施的导航设备及方法 US7869938B2|2011-01-11|Method and apparatus for displaying simplified map image for navigation system US6574531B2|2003-06-03|Method and apparatus for providing information to an occupant of a vehicle EP2728313A1|2014-05-07|Method of displaying objects on a navigation map JP5385506B2|2014-01-08|Storage and visualization of target points in navigation systems US20140222335A1|2014-08-07|Concurrent Multi-Point Contact Gesture Detection and Response US20120046947A1|2012-02-23|Assisted Reader KR20080068909A|2008-07-24|모바일 장치용 지역 검색 및 맵핑 JP5095321B2|2012-12-12|観光情報表示装置、ナビゲーション装置および観光情報表示システム
同族专利:
公开号 | 公开日 CN101911146A|2010-12-08| EP2245609A4|2011-10-26| US20090182562A1|2009-07-16| EP2245609A1|2010-11-03| EP2245609B1|2013-02-27| WO2009091639A1|2009-07-23|
引用文献:
公开号 | 申请日 | 公开日 | 申请人 | 专利标题 JPH02224100A|1989-02-27|1990-09-06|Oki Electric Ind Co Ltd|On-vehicle navigation equipment| JPH0850698A|1994-08-05|1996-02-20|Mazda Motor Corp|音声対話型ナビゲーション装置| JP2003227729A|2002-02-05|2003-08-15|Nissan Motor Co Ltd|ナビゲーション装置、画像表示方法及び画像表示プログラム| JP2003241793A|2002-02-14|2003-08-29|Nissan Motor Co Ltd|表示装置、名称表示方法及び名称表示プログラム| WO2003078930A1|2002-03-15|2003-09-25|Mitsubishi Denki Kabushiki Kaisha|Dispositif de navigation a bord d'un vehicule| JP2004125572A|2002-10-01|2004-04-22|Nissan Motor Co Ltd|ナビゲーション装置| JP2005025100A|2003-07-02|2005-01-27|Nissan Motor Co Ltd|車載機器制御装置|JP2013037689A|2011-08-05|2013-02-21|Samsung Electronics Co Ltd|電子装置及びその制御方法| JP2013041580A|2011-08-05|2013-02-28|Samsung Electronics Co Ltd|電子装置及びその制御方法| KR20130082339A|2012-01-11|2013-07-19|삼성전자주식회사|음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치| JP2015179371A|2014-03-19|2015-10-08|ブラザー工業株式会社|処理実行装置および処理実行プログラム| WO2015162639A1|2014-04-22|2015-10-29|三菱電機株式会社|ユーザインターフェースシステム、ユーザインターフェース制御装置、ユーザインターフェース制御方法およびユーザインターフェース制御プログラム| JP2016508271A|2013-01-04|2016-03-17|コピン コーポレーション|制御可能なヘッドセットコンピュータディスプレイ| WO2016174955A1|2015-04-28|2016-11-03|クラリオン株式会社|情報処理装置、及び、情報処理方法| US9733895B2|2011-08-05|2017-08-15|Samsung Electronics Co., Ltd.|Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same| JP2017524590A|2014-06-17|2017-08-31|中興通訊股▲ふん▼有限公司Zte Corporation|携帯端末による車載アプリ制御方法、装置及び端末| US9817232B2|2010-09-20|2017-11-14|Kopin Corporation|Head movement controlled navigation among multiple boards for display in a headset computer| US10013976B2|2010-09-20|2018-07-03|Kopin Corporation|Context sensitive overlays in voice controlled headset computer displays| US10474418B2|2008-01-04|2019-11-12|BlueRadios, Inc.|Head worn wireless computer having high-resolution display suitable for use as a mobile internet device| US10627860B2|2011-05-10|2020-04-21|Kopin Corporation|Headset computer that uses motion and voice commands to control information display and remote devices|US5386494A|1991-12-06|1995-01-31|Apple Computer, Inc.|Method and apparatus for controlling a speech recognition function using a cursor control device| DE10028869A1|1999-07-06|2001-01-11|Volkswagen Ag|Verfahren und Vorrichtung zur Unterstützung der Befehls- und Dateneingabe in Kraftfahrzeugen| DE19941973C5|1999-09-03|2012-05-16|Volkswagen Ag|Verfahren und Vorrichtung zur aktiven Hilfestellung eines Kraftfahrzeugführers in einem Kraftfahrzeug| US6526381B1|1999-09-30|2003-02-25|Intel Corporation|Remote control with speech recognition| US20060143007A1|2000-07-24|2006-06-29|Koh V E|User interaction with voice information services| US6741963B1|2000-06-21|2004-05-25|International Business Machines Corporation|Method of managing a speech cache| US6489921B1|2001-07-12|2002-12-03|Jeffrey Fergus Wilkinson|Vehicle locating apparatus| US6807529B2|2002-02-27|2004-10-19|Motorola, Inc.|System and method for concurrent multimodal communication| US20040119754A1|2002-12-19|2004-06-24|Srinivas Bangalore|Context-sensitive interface widgets for multi-modal dialog systems| AT421117T|2003-04-07|2009-01-15|Nokia Corp|Verfahren und vorrichtung zur bereitstellung von sprachgesteuerter eingabe für eine elektronische vorrichtung mit einer benutzerschnittstelle| US20060247925A1|2005-04-27|2006-11-02|International Business Machines Corporation|Virtual push-to-talk| US8213917B2|2006-05-05|2012-07-03|Waloomba Tech Ltd., L.L.C.|Reusable multimodal application| US9208783B2|2007-02-27|2015-12-08|Nuance Communications, Inc.|Altering behavior of a multimodal application based on location| US20090131077A1|2007-11-16|2009-05-21|Adapx, Inc.|Multimodal data collection device| US8255224B2|2008-03-07|2012-08-28|Google Inc.|Voice recognition grammar selection based on context| US8255218B1|2011-09-26|2012-08-28|Google Inc.|Directing dictation into input fields|US8855719B2|2009-05-08|2014-10-07|Kopin Corporation|Wireless hands-free computing headset with detachable accessories controllable by motion, body gesture and/or vocal commands| CN102460349A|2009-05-08|2012-05-16|寇平公司|使用运动和语音命令对主机应用进行远程控制| US8700405B2|2010-02-16|2014-04-15|Honeywell International Inc|Audio system and method for coordinating tasks| EP2362186A1|2010-02-26|2011-08-31|Deutsche Telekom AG|Bedieneinrichtung für elektronische Gerätefunktionen in einem Kraftfahrzeug| CN101963881A|2010-05-31|2011-02-02|宇龙计算机通信科技有限公司|一种切换图标显示类型的方法、系统及触摸屏设备| US9377862B2|2010-09-20|2016-06-28|Kopin Corporation|Searchlight navigation using headtracker to reveal hidden or extra document data| US9122307B2|2010-09-20|2015-09-01|Kopin Corporation|Advanced remote control of host application using motion and voice commands| US20120110456A1|2010-11-01|2012-05-03|Microsoft Corporation|Integrated voice command modal user interface| US9081550B2|2011-02-18|2015-07-14|Nuance Communications, Inc.|Adding speech capabilities to existing computer applications with complex graphical user interfaces| DE102011015693A1|2011-03-31|2012-10-04|Volkswagen Aktiengesellschaft|Method and device for providing a user interface, in particular in a vehicle| US20120260290A1|2011-04-07|2012-10-11|Sony Corporation|User interface for audio video display device such as tv| US9442290B2|2012-05-10|2016-09-13|Kopin Corporation|Headset computer operation using vehicle sensor feedback for remote control vehicle| US20130036377A1|2011-08-05|2013-02-07|Nokia Corporation|Controlling responsiveness to user inputs| US10672280B1|2011-09-29|2020-06-02|Rockwell Collins, Inc.|Bimodal user interface system, device, and method for streamlining a user's interface with an aircraft display unit| CN102426483B|2011-12-27|2013-12-25|中国科学院软件研究所|一种面向触控设备的多通道精确目标定位方法| WO2013101438A1|2011-12-29|2013-07-04|Kopin Corporation|Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair| CN102646016B|2012-02-13|2016-03-02|百纳(武汉)信息技术有限公司|显示手势语音交互统一界面的用户终端及其显示方法| US9507772B2|2012-04-25|2016-11-29|Kopin Corporation|Instant translation system| KR101992676B1|2012-07-26|2019-06-25|삼성전자주식회사|영상 인식을 이용하여 음성 인식을 하는 방법 및 장치| US9772682B1|2012-11-21|2017-09-26|Open Text Corporation|Method and system for dynamic selection of application dialog layout design| CN103839548B|2012-11-26|2018-06-01|腾讯科技(北京)有限公司|一种语音交互方法、装置、系统和移动终端| CN108536370A|2012-12-03|2018-09-14|联想有限公司|一种输入界面切换方法及装置、电子设备| EP2925551A1|2012-12-03|2015-10-07|Mobile Devices Ingenierie|Information device for a vehicle driver and method to control same| CN103064530B|2012-12-31|2017-03-08|华为技术有限公司|输入处理方法和装置| US9301085B2|2013-02-20|2016-03-29|Kopin Corporation|Computer headset with detachable 4G radio| CN103235643A|2013-04-09|2013-08-07|青岛旲天下智能科技有限公司|采用声控式的人机交互设备| EP2796993A3|2013-04-24|2014-12-03|Samsung Electronics Co., Ltd|Display apparatus and control method capable of performing an initial setting| CN103713803A|2013-12-20|2014-04-09|武汉聚视欣联文化传媒技术有限公司|一种基于用户输入操作适配交互界面的方法与用户终端| CN104793730B|2014-01-22|2019-03-29|联想有限公司|信息处理方法及电子设备| CN105008859B|2014-02-18|2017-12-05|三菱电机株式会社|语音识别装置及显示方法| CN104090652B|2014-06-13|2017-07-21|北京搜狗科技发展有限公司|一种语音输入方法和装置| US9933994B2|2014-06-24|2018-04-03|LenovoPte. Ltd.|Receiving at a device audible input that is spelled| AU2016296471A1|2015-07-17|2017-11-16|Crown Equipment Corporation|Processing device having a graphical user interface for industrial vehicle| CN105260080A|2015-09-22|2016-01-20|广东欧珀移动通信有限公司|一种在移动终端显示屏实现声控操作的方法及装置| EP3477634B1|2016-06-23|2020-09-16|Sony Corporation|Information processing device and information processing method| US10026403B2|2016-08-12|2018-07-17|Paypal, Inc.|Location based voice association system| WO2018098021A1|2016-11-22|2018-05-31|Crown Equipment Corporation|User interface device for industrial vehicle| EP3537284A1|2018-03-08|2019-09-11|Vestel Elektronik Sanayi ve Ticaret A.S.|Device and method for controlling a device using voice inputs|
法律状态:
2011-12-28| A521| Written amendment|Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111227 | 2012-08-08| A131| Notification of reasons for refusal|Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120807 | 2012-11-08| A601| Written request for extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20121107 | 2012-11-15| A602| Written permission of extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20121114 | 2012-12-08| A601| Written request for extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20121207 | 2012-12-17| A602| Written permission of extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20121214 | 2013-01-05| A521| Written amendment|Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121229 | 2013-02-27| A131| Notification of reasons for refusal|Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130226 | 2013-07-17| A02| Decision of refusal|Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130716 |
优先权:
[返回顶部]
申请号 | 申请日 | 专利标题 相关专利
Sulfonates, polymers, resist compositions and patterning process
Washing machine
Washing machine
Device for fixture finishing and tension adjusting of membrane
Structure for Equipping Band in a Plane Cathode Ray Tube
Process for preparation of 7 alpha-carboxyl 9, 11-epoxy steroids and intermediates useful therein an
国家/地区
|